使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。
translated by 谷歌翻译
近年来的自然语言处理研究（NLP）在培训大型模型中，目睹了用于产生上下文感知语言表示的巨大增长。在这方面，许多NLP系统利用了基于神经网络的架构的力量来结合在嵌入中的感觉信息，从而产生了上下文化的单词嵌入式（CWE）。尽管有了这一进展，但NLP社区并未见证任何关于这种架构的上下文化力量的比较研究。本文提出了对比较研究和对九个广泛采用的变压器模型进行了广泛的分析。这些型号是BERT，CTRL，DISTOLBERT，OPENAI-GPT，OPENAI-GPT2，Transformer-XL，XLNET，Electra和Albert。我们使用两个词汇样本字消歧（WSD）任务，SENDSVAL-2和SENDSVAL-3评估它们的上下文化力量。我们采用了在CWE上使用K-Collegy邻（KNN）分类的WSD简单但有效的方法。实验结果表明，拟议的技术还在WSD任务中实现了最新的最先进的结果
translated by 谷歌翻译
公平的机器学习研究人员（ML）围绕几个公平标准结合，这些标准为ML模型公平提供了正式的定义。但是，这些标准有一些严重的局限性。我们确定了这些正式公平标准的四个主要缺点，并旨在通过扩展性能预测以包含分配强大的目标来帮助解决这些问题。
translated by 谷歌翻译
果树的休眠修剪是维持树木健康和确保高质量果实的重要任务。由于劳动力的可用性降低，修剪是机器人自动化的主要候选者。但是，修剪也代表了机器人的独特困难问题，需要在可变照明条件下以及在复杂的，高度非结构化的环境中进行感知，修剪点的确定和操纵。在本文中，我们介绍了一种用于修剪甜樱桃树的系统（在平面树建筑中，称为直立的果实分支配置），该系统整合了我们先前关于感知和操纵的工作的各种子系统。最终的系统能够完全自主运行，并且需要对环境的最低控制。我们通过在甜蜜的樱桃果园中进行现场试验来验证系统的性能，最终取得了58％的削减速度。尽管不完全稳健，并且需要改善吞吐量，但我们的系统是第一个在果树上运行的系统，并代表了将来可以改进的有用的基础平台。
translated by 谷歌翻译
我们为图神经网络提供了一种通用和趋势感知的课程学习方法。它通过结合样品级别的损失趋势来扩展现有方法，以更好地区分更轻松的样本并安排培训。该模型有效地集成了文本和结构信息，以在文本图中提取关系提取。实验结果表明，该模型提供了对样品难度的强大估计，并显示了几个数据集对最新方法的显着改善。
translated by 谷歌翻译
越来越承认，具有多种模型参数的计划研究的先验统计功率估计本质上是多变量问题。对于个人感兴趣的各个参数的电源无法可靠地估计，因为相对于一个参数的可变地，与一个参数进行相关性和方差，将影响另一个参数的权力，所有通常的单变量的考虑因素都是平等的。在这种情况下，特别是对于具有许多参数的模型的明确解决方案是不切实际或无法解决的，将研究人员与模拟功率的普遍方法进行。然而，模型参数矢量的点估计是不确定的，并且不准确的影响是未知的。在这种情况下，建议使用灵敏度分析，使得模拟可能的可观察参数向量的多种组合以了解电力折衷。对这种方法的限制是，它可以计算得昂贵的昂贵的组合，以便在社会科学家估计的模型中精确地映射越来越高的尺寸空间中的电力折衷功能。本文探讨了对不同模型参数组合的研究的有效估计和绘图。最佳地通电研究对于确保找到假设效果的最小可能性是至关重要的。我们首先展示改变参数值对特定假设的功率的影响，并在给定的精度水平上量化计算这种图的计算强度。最后，我们提出了一种简单宽大的机器学习灵感的解决方案，将计算成本降低到少于7 \％的可能被称为蛮力方法。 [简略]
translated by 谷歌翻译
基础培训数据的质量对于建立具有更广泛的Generalizabilty的表演机器学习模型非常重要。但是，当前机器学习（ML）工具缺乏简化的流程，用于提高数据质量。因此，获取数据质量见解并迭代地修剪以获取最大代表下游使用情况的数据集的错误仍然是Ad-hoc手动过程。我们的工作解决了这种数据工具差距，需要纯粹通过以数据为中心的技术构建改进的ML工作流程。更具体地说，我们介绍了（1）在数据集中找到嘈杂或错误标记的样本的系统框架，（2）识别最具信息丰富的样本，当包含在训练中时，该样本将提供最大的模型性能提升。我们展示了我们在公共场合的框架以及两家财富500强公司的私营企业数据集的效果，并确信这项工作将形成ML团队执行更智能的数据发现和修剪的基础。
translated by 谷歌翻译
$ k $ -means和$ k $ -median集群是强大的无监督机器学习技术。但是，由于对所有功能的复杂依赖性，解释生成的群集分配是挑战性的。 Moshkovitz，Dasgupta，Rashtchian和Frost [ICML 2020]提出了一个优雅的可解释$ K $ -means和$ K $ -Median聚类型号。在此模型中，具有$ k $叶子的决策树提供了集群中的数据的直接表征。我们研究了关于可解释的聚类的两个自然算法问题。 （1）对于给定的群集，如何通过使用$ k $叶的决策树找到“最佳解释”？ （2）对于一套给定的点，如何找到一个以美元的决策树，最小化$ k $ -means / median目标的可解释的聚类？要解决第一个问题，我们介绍了一个新的可解释群集模型。我们的型号受到强大统计数据的异常值概念的启发，是以下情况。我们正在寻求少数积分（异常值），其删除使现有的聚类良好可解释。为了解决第二个问题，我们开始研究Moshkovitz等人的模型。从多元复杂性的角度来看。我们严格的算法分析揭示了参数的影响，如数据的输入大小，尺寸，异常值的数量，簇数，近似比，呈现可解释的聚类的计算复杂度。
translated by 谷歌翻译
我们呈现了名字，一个从英语维基百科和新闻文章中获得的暧昧名称的实体的数据集。它由4148个独特实体的58862提到和他们的名称：来自News的1000个提到，来自Wikipedia关于实体的文章28843，以及29019维基百科反向链接提到。名称应该有助于为命名实体链接的任务建立具有挑战性的基准（NEL）。
translated by 谷歌翻译
本文提出了一种用于处理不平衡高光谱图像分类的新型多假进化生成的对抗网络（MFEGAN）。它是一种端到端的方法，其中在发电机网络中考虑了不同的生成目标损失，以改善鉴别器网络的分类性能。因此，通过将分类器网络嵌入识别函数的顶部，相同的鉴别器网络已被用作标准分类器。通过两个高光谱空间光谱数据集验证了所提出的方法的有效性。同样的生成和鉴别者架构已经与两个不同的GAN目标用于与所提出的方法进行公平的性能比较。从实验验证中观察到所提出的方法优于最先进的方法，具有更好的分类性能。
translated by 谷歌翻译